Estudiantes de la USM crean aplicación con Inteligencia Artificial para traducir el lenguaje de señas

Con el fin de contribuir con tecnología a que las personas con discapacidad auditiva logren mayor autonomía, un grupo de estudiantes de Ingeniería Civil Informática de la Universidad Técnica Federico Santa María (USM), desarrolló una aplicación móvil para traducir el lenguaje de señas, la que será presentada en la 32° Feria de Software de la esta casa de estudios y tendrá una versión beta a fin de año.

DialogApp, como se llama el proyecto, utiliza Inteligencia Artificial (IA) y visión por computadora, para traducir el lenguaje de señas y el español en tiempo real y en forma bidireccional, "lo que eliminará la necesidad de intérpretes", afirmó el product owner, Rolando Rojas.

El estudiante universitario comentó que el desarrollo busca generar un impacto en la comunidad sorda, para que puedan tener mayor independencia a la hora de realizar diferentes actividades que suelen requerir de un intérprete.

“Por ejemplo, cuando las personas tienen que ir al médico, hay ciertas especialidades, como ginecología o urología, donde muchas veces preferirían sin compañía. Uno por lo general quiere ir solo por un tema de privacidad, de confidencialidad. Ahí nace la aplicación”, comentó.

Detrás del proyecto está SevenPulse, un equipo de seis estudiantes de la USM conformado por Rojas junto con Camila Mena, Jorge Cáceres, José Escobar, Vicente Cuevas y Felipe Fuentes. El séptimo integrante, según Rojas, es el avatar virtual que integra la aplicación y que interpreta el lenguaje de señas y traduce en tiempo real lo que la persona está diciendo.

Rojas explicó que la traducción es bidireccional, es decir,  opera en ambos sentidos. "Uno abre la aplicación y te da los dos modos. Uno es desde lenguaje de señas a texto o voz, y el otro es de voz o texto a señas. Así completamos en el fondo el ciclo de la comunicación”, dijo.

La tecnología

Rojas señaló que comenzaron a desarrollar la tecnología hace cinco meses en conjunto con intérpretes de lengua de señas, los que contribuyeron en la creación de un conjunto de datos diseñado para la detección del lenguaje de señas chileno. Dijo que la tecnología integra visión por computadora con IA y reconocimiento de imágenes, que permite detectar los dedos de las manos.

“La aplicación detecta los dedos y luego pasa a un segundo modelo que clasifica la información en cierto grado. Eso después lo devuelve a la app y nos da al final un resultado que dice ‘esto es una G, esto es una A o esto es una palabra’”, detalló.

Dijo que ya han realizado pruebas con personas de la comunidad sorda al interior de la universidad y que presentarán el prototipo durante la 32° Feria de Software de la USM en noviembre.

También adelantó que entre fin de año y principios de 2025 esperan lanzar la app en versión beta para su descarga.